本文介绍了Z-Code ++，这是一种针对抽象文本摘要优化的新的预训练的语言模型。该模型使用三种技术扩展了艺术编码器模型的状态。首先，我们使用两阶段的预训练过程来改善模型在低资源摘要任务上的性能。该模型首先是使用文本语料库进行语言理解的预先培训的，然后在汇总语料库中不断预先培训，以进行基础文本生成。其次，我们用分离的注意力层代替编码器中的自我发项层，其中每个单词都使用两个向量分别代表其内容和位置。第三，我们使用融合编码器，这是一种以层次方式编码长序列的简单而有效的方法。 Z-Code ++在13个文本摘要任务中的9个跨5种语言中创建了新的艺术状态。我们的模型的参数有效，因为它的表现优于XSUM上600倍较大的Palm-540b，并且在Samsum上的易经的200倍GPT3-175B较大。在零射击和少量设置中，我们的模型大大优于竞争模型。
translated by 谷歌翻译
本文提出了一种简单而有效的方法，可以改善两种情况下的直接（x-to-y）翻译：零射击和直接数据时。我们将编码器和解码器的输入令牌修改为包括源和目标语言的信号。我们在从头开始训练或使用拟议的设置对验证模型进行填充时显示出绩效增长。在实验中，根据检查点选择标准，我们的方法在内部数据集上显示了近10.0个BLEU点的增益。在WMT评估活动中，从英语性能提高了4.17和2.87 BLEU点，在零射击设置和直接数据可用于培训时。而X-to-y在零射基线上提高了1.29 BLEU，而在多到许多基线上提高了0.44。在低资源设置中，我们在X-TO-Y域数据上进行填充时会看到1.5〜1.7点的改善。
translated by 谷歌翻译
多语言神经机器翻译（MNMT）使一个系统能够将句子从多种源语言转换为多种目标语言，与传统的双语系统相比，大大降低了部署成本。但是，MNMT培训益处通常仅限于多一对一的方向。该模型在一对一的表现不佳，并且在零镜头设置中遭受了多种影响。为了解决这个问题，本文讨论了如何实际构建提供任意X-Y翻译指示的MNMT系统，同时使用预处理和填充的两阶段培训策略利用多语言。尝试WMT'21多语言翻译任务，我们证明我们的系统的表现优于大多数方向的直接双语模型和枢轴翻译模型的传统基线，平均提供+6.0和+4.1 BLEU，而无需进行架构更改或额外的数据收集。 。此外，我们还在极大的数据设置中检查了我们提出的方法，以适应实际的部署方案。
translated by 谷歌翻译
稀疏激活的变压器（例如专家的混合物（MOE））由于其极端的缩放能力而引起了极大的兴趣，这可以使模型大小的急剧增加而没有大幅增加计算成本。为了实现这一目标，MOE模型用变压器中的Experts子层取代了前馈子层，并使用门控网络将每个令牌路由到其指定的专家。由于对此类模型进行有效培训的共同实践需要在不同的机器上分发专家和代币，因此这种路由策略通常会产生巨大的跨机器通信成本，因为代币及其分配的专家可能居住在不同的机器中。在本文中，我们提出了\ emph {门控辍学}，它允许代币忽略门控网络并留在其本地机器，从而减少了交叉机器的通信。与传统辍学类似，我们还表明，门控辍学在训练过程中具有正规化效果，从而改善了概括性能。我们验证了对多语言机器翻译任务中门控辍学的有效性。我们的结果表明，门控辍学可改善具有更快的壁式时间收敛速率的最先进的MOE模型，并为各种模型尺寸和数据集提供更好的BLEU分数。
translated by 谷歌翻译
本文介绍了我们提交给WMT21共享新闻翻译任务的受限轨道。我们专注于三个相对低的资源语言对孟加拉，从印地语，英语往返Hausa，以及来自Zulu的Xhosa。为了克服相对低行数据的限制，我们使用采用并行和单晶体数据的多任务目标训练多语言模型。此外，我们使用后退转换增强数据。我们还培养了一种双语模型，包括后退转换和知识蒸馏，然后使用序列到序列映射来组合两种模型。我们看到迄今为止英语和来自Hausa的Bleu Point的相对收益约为70％，以及与双语基线相比，孟加拉和从Zulu的孟加拉和从Zulu的相对改善约25％。
translated by 谷歌翻译
本报告介绍了在大型多语种计算机翻译中为WMT21共享任务的Microsoft的机器翻译系统。我们参加了所有三种评估轨道，包括大轨道和两个小轨道，前者是无约束的，后两者完全受约束。我们的模型提交到共享任务的初始化用deltalm \脚注{\ url {https://aka.ms/deltalm}}，一个通用的预训练的多语言编码器 - 解码器模型，并相应地使用巨大的收集并行进行微调数据和允许的数据源根据轨道设置，以及应用逐步学习和迭代背翻译方法进一步提高性能。我们的最终提交在自动评估度量方面排名第一的三条轨道。
translated by 谷歌翻译
使用变压器模型，多语言神经机器的翻译一直显示出巨大的成功。部署这些模型是具有挑战性的，因为它们通常需要各种语言的大词汇（词汇）尺寸。这限制了在上一个词汇投影层中预测输出令牌的速度。为了减轻这些挑战，本文提出了一种通过聚类的快速词汇投影方法，该方法可用于GPU上的多语言变压器。首先，我们脱机将词汇搜索空间分为不同的结合群，鉴于解码器输出的隐藏上下文向量，这导致词汇投影的词汇列要小得多。其次，在推理时，提出的方法预测了词汇投影中隐藏上下文向量的簇和候选候选代币。本文还包括对在多语言环境中构建这些群集的不同方式的分析。我们的结果表明，FLOAT16 GPU推断中的端到端速度增长高达25％，同时保持BLEU得分并略有增加记忆成本。所提出的方法将词汇投影步骤加速自身最多2.6倍。我们还进行了广泛的人类评估，以验证所提出的方法保留了原始模型的翻译质量。
translated by 谷歌翻译
多语种预训练模型在许多多语言NLP任务中展示了它们的有效性，并使从高资源语言到低资源的零射击或几秒钟传输。然而，由于某种语言之间的显着的类型差异和矛盾，这些模型通常在许多语言和交叉语言设置上表现不佳，这表明了学习单一模型同时处理大规模不同语言的难度。为了减轻这个问题，我们提出了一个新的多语言预训练管道。我们建议从多语言预先训练的模型产生语言表示，并进行语言分析，以表明语言表示相似度反映了从多个角度来看的语言相似度，包括语言家庭，地理蓝星，词汇表演和语法。然后，我们将所有目标语言集成到多个组中，并将每个组名称为表示SprachBund。因此，在同一表示SprachBund中的语言应该在培训和微调中互相提升，因为它们共享丰富的语言相似性。我们预先列车为每个代表斯普拉克班达一个多语言模型。实验在交叉基准上进行，与强基线相比，实现了显着的改进。
translated by 谷歌翻译
Bipedal robots have received much attention because of the variety of motion maneuvers that they can produce, and the many applications they have in various areas including rehabilitation. One of these motion maneuvers is walking. In this study, we presented a framework for the trajectory optimization of a 5-link (planar) Biped Robot using hybrid optimization. The walking is modeled with two phases of single-stance (support) phase and the collision phase. The dynamic equations of the robot in each phase are extracted by the Lagrange method. It is assumed that the robot heel strike to the ground is full plastic. The gait is optimized with a method called hybrid optimization. The objective function of this problem is considered to be the integral of torque-squared along the trajectory, and also various constraints such as zero dynamics are satisfied without any approximation. Furthermore, in a new framework, there is presented a constraint called impact invariance, which ensures the periodicity of the time-varying trajectories. On the other hand, other constraints provide better and more human-like movement.
translated by 谷歌翻译
The importance of humanoid robots in today's world is undeniable, one of the most important features of humanoid robots is the ability to maneuver in environments such as stairs that other robots can not easily cross. A suitable algorithm to generate the path for the bipedal robot to climb is very important. In this paper, an optimization-based method to generate an optimal stairway for under-actuated bipedal robots without an ankle actuator is presented. The generated paths are based on zero and non-zero dynamics of the problem, and according to the satisfaction of the zero dynamics constraint in the problem, tracking the path is possible, in other words, the problem can be dynamically feasible. The optimization method used in the problem is a gradient-based method that has a suitable number of function evaluations for computational processing. This method can also be utilized to go down the stairs.
translated by 谷歌翻译